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Модифицированная 4-нарная модель Поттса 
с бинаризованными синаптическими 


коэффициентами" 


Практическое применение 4-нарных моделей Поттса осложняется высокими требованиями к оперативной 
памяти (необходимо 32№47 бит, где № — число нейронов, а — число состояний нейрона). В работе 
исследуется модифицированная модель Поттса с бинаризованными синаптическими коэффициентами. 
Процедура бинаризации позволяет в 32 раза уменьшить размер требуемой оперативной памяти (№4” бит) и 
более чем в 4 раз ускорить алгоритм. Ожидалось, что бинаризация приведет к ухудшению распознающих 
характеристик. Однако анализ показал неожиданные результаты: процедура бинаризации приводит к 
увеличению объема нейросетевой памяти в 2 раза. Полученные результаты согласуются с проведенными 
экспериментами. 


Введение 


На сегодняшний момент все чаще и чаще встают задачи идентификации (клас- 
сификации) очень большого массива векторов высоких размерностей. Например, при 
идентификации атак на большие компьютерные сети приходится работать с векторами 
длиной М - 4000 и размерностью признака 4 - 32. 

Одним из классов нейронных сетей, способных решать подобные задачи, 
являются векторные нейронные сети. Наиболее известная из них — спин-стекольная 
модель Поттса [1], свойства которой достаточно хорошо исследовались методами 
статистической физики [2-7], а характеристики памяти исследовались, в основном, 
методами численного моделирования. 

Модель Поттса характеризуется большим объемом нейросетевой памяти 
(М - №(а-10/41 №). Однако практическое применение ВНС осложнено высокими 


требованиями к оперативной памяти (ВАМ), поскольку для хранения матрицы 
связей необходимо — 32№47 бит. Так для описанной выше задачи необходимо более 
16 Гб. Снизить требования к ВАМ в 32 раза (до №4’ бит) можно бинаризовав 
синаптические связи нейронной сети (огрубив их до 1 и 0). Тогда для описанной 
выше задачи вместо 16 Гб потребуется 500 Мб. 

Попытка применить процедуру бинаризации к стандартной 4-нарной модели 
Поттса [1] привела к негативному результату: объем памяти резко уменьшился. 
Поэтому мы применили процедуру бинаризации к модифицированной 4-нарной модели 
Поттса. Модели нейронных сетей, подобные этой, исследовались в ряде работ [8-13]. 
Это так называемые параметрические нейронные сети. Они ориентированы на 
реализацию в виде оптического устройства. Для них получены достаточно простые 
аналитические выражения, описывающие эффективность функционирования, объем 
памяти и помехоустойчивость. 


“ Работа поддержана грантом РФФИ (06-01-00109). 
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Анализ исследуемой модифицированной модели Поттса с бинаризованными 
синаптическими коэффициентами показал неожиданные результаты: объем нейросе- 
тевой памяти (НП) в результате бинаризации увеличивается в 2 раза, тогда как 
ожидалось ухудшение распознающих характеристик. Это объясняется тем, что 
дисперсия входного сигнала нейрона убывает быстрее, чем его среднее значение. 
Более того, при тех же параметрах № и 4 рассматриваемая модель превосходит 
стандартную модель Поттса [1] по быстродействию более чем в 4 раз. Это существенно 
для систем реального времени. Полученные результаты согласуются с проведенными 


экспериментами. Более того, будет показано, что в области 4>150, а<М№ а” 


емкость памяти в результате бинаризации уменьшается. Однако эта область не имеет 
практического интереса. 

Статья имеет следующую структуру. Во втором разделе дается описание 
исследуемой модифицированной модели. В третьем разделе получены выражения 
для емкости памяти. В разделе 4 проводится анализ полученных результатов, их 
сопоставление с экспериментальными данными. 


Постановка задачи 

Опишем сначала модифицированную модель Поттса. Это полносвязная сеть 
из № спин-нейронов, имеющих 4 различных дискретных состояний (4 > 2). Состоянию с 
номером К ставится в соответствие орт е; в пространстве А“(А =1,2,...,4). Состояние 
сети в целом описывается М№-мерным 4-нарным вектором Х =(х|,хо,... Хм), В 


котором 1-й компоненте х; соответствует состояние 1-го нейрона в паттерне: 


х, Е{е, ". (1) 


Отличие этой (модифицированной) модели от стандартной модели Поттса [1] 
заключается в следующем. В модифицированной модели одна из компонент вектора 
х, равна 1, а все остальные равны 0. В стандартной модели Поттса состояние 
нейрона задается вектором, одна из компонент которого равна 1-1/а, а все 
остальные равны —1/4. 

Синаптическая связь между 1-м и /-м нейронами в данной модели задается 
4х4-матрицей Т,, построенной по правилу Хебба на М эталонных паттернах 


Х„ = (Хи, Хз» --2 Хи), НЕМ: 


м 

ый + 

т, ы >охшх, | (2) 
= 

Причем полагается Т,=0. А локальное поле на 1-м нейроне задается в 


стандартном виде 
№ 
н,=УТрх,. (3) 
Е 


Динамика сети определяется естественным образом: 1-й спин-нейрон под 
воздействием локального поля Н, принимает положение, наиболее близкое к 


направлению этого поля (состояние нейрона дискретно, поэтому он не может 
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ориентироваться строго вдоль вектора Н,). Иными словами, нейрон ориентируется 
вдоль того орта, проекция которого на вектор Н, максимальна. Соответствующий 
этому правилу алгоритм заключается в следующем: в каждый момент времени [ 
вычисляются проекции вектора локального поля Н, на все орты 4-мерного 
пространства, и находится максимальная из этих проекций (пусть, например, это 
будет проекция на орт е,). Тогда, состояние 1-го спина-нейрона в последующий 
момент времени задается решающим правилом: 


х, (+1 =е,. (4) 


Эта процедура последовательно применяется ко всем нейронам (асинхронная 
динамика), пока система не конвергирует в стабильное состояние. 


Теперь опишем бинаризированную модель. Ее матрица синаптических связей 
т, получается процедурой бинаризации исходной Хэббовской матрицы Т,, то есть 


матричные элементы задаются выражением: 


ар _ ав 
ТР = 7”, (5) 


где аВ=Ъа, 5/=1, №, а локальное поле принимает вид: 


= Утх.. (6) 


Динамика бинаризированной модели такая же, как и в исходной модели. Ниже 
проведено исследование и сравнение свойств этих двух моделей — бинаризированной 
и исходной (небинаризированной). 


Эффективность распознавания эталонов 


Оценим объем нейросетевой памяти бинаризированной модели. Для этого 
найдем вероятность того, что записанный эталон является неподвижной точкой. 
Пусть начальное состояние сети соответствует эталону Х|. Паттерн Ху! будет 


неподвижной точкой, если для любого из нейронов выполняется условие: проекция 
локального поля на орт, соответствующий состоянию нейрона в эталонном паттерне, 
максимальна. Рассмотрим 1-й нейрон и условимся, для простоты, что 1-я компонента 
Х` равна е|. Тогда условие правильной ориентации 1-го нейрона заключается в 


одновременном выполнении (4—1) неравенств 
ЕЙ -И >0, Е=2, 4, (1) 


вытекающих из решающего правила (6) и соответствующих тому, что проекция 
вектора Й. локального поля на орт е болыше проекции на любой из остальных 
(4-1) ортов. Из (5) получим проекции на 1-й и произвольный (-Й орт (А+ 1): 


в =М, (8) 


М м 
в = > бет У. ь (9) 


= 
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м 1 
где В; — номер отличной от 0 компоненты входного вектора хе 


Вероятность одновременного выполнения (4—1) событий (7) 


4-1 
РЕРи [`] 7, >0 (10) 
К 


можно вычислить, полагая, что величины 17) случайные гауссовские переменные (не 


со ы 
независимые) со средним < 77; >, дисперсией о“ и ковариацией соу(7,,1,): 


<п, >= МР; (р 


с” = м8] + мв( в 1, (12) 


соу(,,1,.) = М °2З1 -в (13) 


Здесь К, — это вероятность того, что элемент матрицы связи т, будет равен нулю 


1 М 
И (14) 
4 


В дальнейшем будем рассматривать случай 4°>>1 (случай 4—1 не представляет 


интереса, поскольку характеристики сети становятся сравнимыми с характеристиками 
сети Хопфилда). 

Наличие параметров (11) — (13) позволяет выписать искомую вероятность в 
виде стандартного интеграла ошибок для случая мультивариантного гауссовского 
распределения. Общее выражение мы здесь не приводим ввиду его громоздкости. 
Опуская промежуточные вычисления, приведем выражение для вероятности Р в 
наиболее интересном случае Р —>1. Для этого случая получим справедливое при 
у >> 1 выражение 


ре е?, (15) 


где у=<п, > / о. — так называемое отношение «сигнал/шум». Она является основным 
показателем надежности распознавания сети: чем больше у, тем больше вероятность 


правильного распознавания Р и больше объем памяти нейросети. 
Объем памяти М определим из условия Р->1. В асимптотическом пределе 
№ > © это условие преобразуется к виду: 


у? =2ш м. (16) 
В случае М <<а или М >> а из (17) получим 
ЧМ 


= (17) 
21+ №/а) ш № 
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Получить выражение для емкости памяти при произвольном соотношении величин 
№ и 4 не представляется возможным в силу трансцендентности уравнения (16). 
Однако численный расчет показывает, что выражение (17) достаточно хорошо 
оценивает емкость памяти (с точностью до 20 — 40 %) при любом соотношении 
величин МИ 4. 

Для сравнения, опуская аналогичные вычисления, приведем оценку емкости 
памяти исходной небинаризованной сети 


а’№ 


= 18 
° 41+ М№/ 9) ш № (18) 


Предваряя дальнейший анализ, сразу отметим, что величина М в 2 раза 
больше величины М) . Однако такое соотношение справедливо не на всем диапазоне М 


иа (рис. 2). 


Сравнительный анализ 


Проведем сравнительный анализ емкости памяти двух сетей — бинаризированной и 
исходной моделей. На рис. | представлена зависимость величины М от размерности 
задачи № полученная численным решением уравнения (16). Как видим, емкость 
памяти бинаризованной сети с ростом размерности сети М№ быстро нарастает до 
максимума, а затем медленно логарифмически убывает. Максимальное значение 
М =М „„. достигается при № = М: 


тах тах 


тах 


3 
м. -9 9, м, - 219 схр(//2). (19) 
й 8/2 Ги] 


Бинаризованная 


исходная 


0 500 1000 1500 2000 2500 3000 3500 М 


Рисунок 1 — Зависимость емкости памяти от размера сети для бинаризованной 
(верхняя кривая) и исходной (нижняя кривая) моделей при а = 32 


При решении практических задач такое поведение означает следующее: в 
случае М> №„„ можно уменьшить размер эталонов до величины М = № „„. При этом 


х 
повысится емкость памяти, снизятся требования к оперативной памяти и увеличится 
быстродействие алгоритма. 
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Для сравнения на рис. 1 приведен график зависимости М, = М,(№), построенный 
согласно (18). Как видим, величина М, также сначала нарастает, а затем лога- 


рифмически спадает. Максимальное значение Мо = М*, достигается при № = №: 


шах 


3 

Мы = а" Мы 2291. (20) 
Выражениями (19) и (20) задается максимально достижимая емкость памяти 
при заданном значении 4. Кривые на рис. 1 построены при 4 = 32. Как видим, при 
таком значении 4 память бинаризированной сети приблизительно в 2 раза больше, 
чем у исходной небинаризированной модели. Такое соотношение выполняется при 

не слишком больших значениях 4. 
На рис. 2 представлена зависимость отношения М / Му от величины М при 


различных значениях 4. Как видим, практически всюду имеет место соотношение 
М /М. >1. Более того, М/ М, -=2при М№М<а или М >> 4. Однако при достаточно 


большой размерности признака (4 > 150) имеется диапазон изменений № (4<М№<а’), в 
котором М /М, <1. 


Сравним характеристики сетей, представляющих практический интерес. Это 
сети, моделирование которых требует не слишком большой оперативной памяти 
(например, меньше чем 2 Гб). Сети, удовлетворяющие данному условию, принадлежат к 
области над пунктирной линией рис. 2. Как видим, в этой области процедура 
бинаризации приводит только к повышению объема нейросетевой памяти. 


м 
Мо 
2,00 


0 10 20 30 40 50 60 70 80 90 а 


Рисунок 2 — Соотношение М /М. при различных значениях параметра 4. 


По оси ординат отложена величина №4. Для точек, лежащих под пунктирной 
линией (кривые, выделенные серым), объем требуемой оперативной памяти, 
необходимый для моделирования, превышает 2 Гб 


Для проверки полученных оценок был проведен ряд экспериментов. Результаты 
одного из них, проведенного при М = 30 и д = 10, представлены на рис. 3. 
Представленные зависимости показывают, что сеть с бинаризованной матрицей 
связи разрушается при значительно большей загрузке. Кроме того, видим, что 
емкость памяти бинаризованной модели того же порядка, что и у стандартной 
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модели Поттса. Однако она превосходит сеть Поттса по быстродействию более чем в 4 
раз (в данном случае в 10 раз) и требует в 32 раза меньше оперативной памяти. 
Величины параметров сети в различных экспериментах варьировались в пределах 
4<4<128 и 10 < М < 500. Результаты этих экспериментов показали, что процедура 
бинаризации всегда приводит к двукратному увеличению объема памяти. Сеть с 
параметрами (4 > 150, М> 32), при которых бинаризация ухудшает характеристики 
сети, нам реализовать не удалось в силу ограниченности оперативной памяти 


компьютера. 
Р(М) 


1,0 


0,8 


0,6 


0,4 


0,2 


0,0 
25 50 75 100 125 150 175 М 


Рисунок 3 — Зависимость доли неподвижных точек Р от числа 
записанных в нейросеть эталонов М для различных моделей: 
1 — исходная (небинаризированная) модель; 2 — бинаризированная модель; 
3 — модель Поттса. Параметры моделей: М = 30 ид = 10 


Заключение 


В работе рассматривалась модифицированная модель Поттса с бинаризированными 
синаптическими коэффициентами. Показано, что емкость памяти после применения 
процедуры бинаризации увеличивается вдвое. Это объясняется тем, что дисперсия 
входного сигнала нейрона убывает быстрее, чем его среднее значение. Для сетей с 
разумными размерами (4<4<128 и 10<М < 500) этот результат подтвержден 
большим числом экспериментов. Более того, рассматриваемая бинаризированная 
модель сравнима по емкости нейросетевой памяти с стандартной 4-нарной моделью 
Поттса. Однако при этом она превосходит ее по быстродействию более чем в 4 раз и 
требует в 32 раза меньше оперативной памяти. Все это делает рассмотренную 
бинаризированную модель весьма привлекательной для использования в системах 
идентификации (классификации), работающих в реальном режиме времени с очень 
большим массивом векторов высоких размерностей. 

На основе описанной в работе бинаризованной модели может быть создан 4- 
нарный персептрон для идентификации цветных изображений (эталонов). Этот 


персептрон позволяет надежно идентифицировать любой из 10° эталонов при 75 % 
искажениях (размер изображения — 52 х 52 пиксела, число цветовых градаций - 256). 
Остальные параметры персептрона: число нейронов входного слоя — 2700( = 52х52), 
число различных состояний этих нейронов 4 = 256, число нейронов выходного слоя - 2, 
число состояний выходных нейронов — 325. Для хранения матрицы синаптических 
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коэффициентов при этом потребуется 56 Мб оперативной памяти, скорость работы 
алгоритма — 250 мсек (п). Аналогичная персептронная нейросеть, построенная 
на поттсовских нейронах, потребует 1,8 Гб оперативной памяти и будет работать 
в 325 раз медленнее. 
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Б.В. Крижановський, В.М. Крижановський 

Модиф!кована 4-нарна модель Поттса з бнаризованими синаптичними коефицентами 
Практичне застосування 4-нарних моделей Поттса ускладнюеться високими вимогами до оперативно! 
пам’ят! (необждно 32№ а? бт, де М- число нейрон, а — число стан нейрона). У робот! досшджуеться 
модифижована модель Поттса з б1наризованими синаптичними коефицентами. Процедура @бнаризаци 
дозволяе в 32 рази зменшити розмфр необхдно! оперативно! пам’ят! (№а’ бт) 1 @лыш нёж в 4 разв 
прискорити алгоритм. Очкувалося, що бнаризащя призведе до попршення розшзнавальних характеристик. 
Проте анал!з показав несподван! результати: процедура б1наризаци приводить до з@льшення об’ему 
нейромережно! памяти в 2 рази. Отриман! результати узгоджуються з проведеними експериментами. 


В.Г. Ктусйапоу5Ку, Г.М. Кгузйапоу5Ку 

МодШеа 4-е Роё5 Моде! ув Вта7еа Зупарие Сое Йа епт 

Ргасйса! аррИсаНопз оЁ 4-е Ройз шо4е!з аге сотрИсае4, аз еу гедише уету 1агое ВАМ (32№47 Би, 
уТеге № 15 Фе питбег оЁ пеигопз ап 4 15 Фе питбег оЁ Фе за{е$ оРа пеигоп). п 15 \о!К ме ехатше а 
то фйеа Рой5 тоде! ми Бтагте4 зупарис соеЁ слеп. ТБе ргоседиге оЁ Бпаптайоп аЦо\з опе ю таке 
Фе гедитед ВАМ 32 итез зтаПег (№4? 65), ап4 Ве а12огИ ит тпоге ап 4 Итпез азбег. Опе \ошА ехреси 
Фа Фе Бтапхайоп ууогзепз Фе гесогт17 ще ргорегиез. Но\еуег, оиг апа1уз1$ $Во\из ап ипехресе4 гезий: 
Фе БпантаНоп ргоседиге 1еа45 ю Фе шсгеазе оЁ 1е $огасе сарасиу Бу а асюг оЁ 2. ТВе оМате4 гези5 
аге ш а 2004 аотеетепе у Ше гези $ оЁ соппрщег зпащайопз. 


Статья поступила в редакцию 02.06.2008. 
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